Towards Efficient Reasoning: Learning Causal Shortcuts for Diffusion Language Models
面向高效推理：为扩散语言模型学习因果捷径
🧭 扩散语言模型推理训练优化
Zhejiang University · Shanghai AI Laboratory
提出CSL框架，通过提取因果捷径并优先掩码训练，提升扩散语言模型推理精度与收敛速度
📌 工作参考价值（4 点）
- 如果业务中尝试用 Diffusion LM 做推理型任务（如 Agent 规划、推荐理由生成），不要用 random masking；先提取推理链中的关键 token（causal shortcuts），优先 mask 这些 token 做 SFT，能明显提升收敛速度和最终精度。
- 论文给了一套 step-by-step token extraction 流程，可以从业务数据里自动挖出“因果捷径” token 链，适合迁移到需要生成结构化推理路径的场景（如电商导购 Agent 的决策链路）。
- 核心结论是：在双向扩散模型的 SFT 中，控制 mask 分布比随机 mask 更高效，这个思想也可以借鉴到其他 masked/denoising 序列模型训练中，作为训练效率调优手段。
- 对线上推理有启发：如果已部署 DLM，可以通过识别并保护 causal shortcut token 来减少探索空间，加快生成收敛，降低推理延迟。